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Получение шаблонов для распознавания 
символов автомобильного номера 
на основе взвешивания обучающего набора 


В статье предлагается алгоритм получения шаблонов для решения задачи распознавания символов 
автомобильного номера методом сопоставления с эталоном. Предлагаемый алгоритм основан на взвешивании 
обучающего набора и позволяет получить шаблоны каждого класса символов на основе минимизации средней 
ошибки классификации по всем классам. Полученные предложенным методом шаблоны позволяют решать 
задачу классификации символов с меньшей ошибкой, чем при использовании в качестве шаблонов центров 
распределений классифицируемых классов, сохраняя при этом хорошую обобщающую способность метода 
сопоставления с эталоном. 


Введение 


Задача распознавания символов автомобильного номера является последним эта- 
пом решения задачи автоматического определения номерного знака автотранспортного 
средства на основе анализа видеоданных. Здесь предполагается, что предыдущие этапы 
обнаружения номера [1], нормализации изображения номера, сегментации символов [2] 
уже решены одним из известных методов. Актуальность задачи определяется в первую 
очередь важным прикладным значением распознавания номерных знаков автотранс- 
портных средств, которое позволит автоматизировать процесс регулирования и конт- 
роля за движением. Несмотря на большие достижения в этой области за последние 20 
лет, задача еще далека от своего окончательного разрешения, а существующие приклад- 
ные системы являются дорогостоящими и в большинстве своем ориентированными на 
национальные стандарты номерных знаков отдельных стран. Кроме этого, задача рас- 
познавания символов имеет самостоятельное прикладное значение, связанное с распо- 
знаванием машинописных и печатных текстов. 

Для распознавания символов используется большой набор методов и алгоритмов, 
которые можно разделить на две обширные категории: шрифтозависимые и шрифто- 
независимые алгоритмы. Для распознавания символов автомобильного номера чаще 
всего используются шрифтозависимые алгоритмы классификации, которые позволяют 
достичь лучшего качества распознавания и не имеют в данной задаче присущего им 
недостатка — зависимость от определенного шрифта, так как при изготовлении номер- 
ных знаков используются жестко заданные гарнитуры. 

При распознавании символов номерного знака используются методы интеграль- 
ного анализа бинаризованных изображений [3] (моменты инерции символа, радиальное 
и дифференциальное радиальное кодирование), метод опорных векторов [4], корреля- 
ционные методы [5], сопоставления с эталоном [6] и другие методы, отличающиеся 
эвристическими принципами получения признаков символа и методами их анализа. 
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Одной из проблем, часто возникающей при решении задачи распознавания сим- 
волов автомобильных номеров, является внутриклассовая изменчивость изображений 
символов, обусловленная следующими факторами: геометрические искажения изобра- 
жений, связанные с ракурсом съемки; особенности условий освещения, наличие теней, 
ошибки и неточности, допущенные при автоматической обработке изображений на 
этапе обнаружения номера, его нормализации и сегментации символов. Сложность 
формализации всех приведенных факторов, влияющих на конечный вид изображения 
распознаваемого символа, существенно затрудняет получение качественных классифи- 
каторов, успешно решающих задачу распознавания символов автомобильного номера в 
широком диапазоне условий наблюдения. Проведенные предварительные исследования 
задачи классификации символов показали возможность успешного применения для ее 
решения метода сопоставления с эталоном, который имеет высокую обобщающую спо- 
собность, обладает простотой реализации и использования, а также интуитивно понятно 
выполняет задачу распознавания на основе измерения значений принятых мер близости 
к соответствующим шаблонам. 

В качестве шаблонов часто используются центры соответствующих распределе- 
ний изображений символов внутри каждого класса, среднее отклонение от которых 
объектов соответствующих классов минимально. В то же время для решения задачи 
распознавания объектов заданного класса большое значение имеет не только распреде- 
ление объектов внутри этого класса, но и положение объектов других классов в прост- 
ранстве признаков. 

Цель данной статьи — рассмотреть алгоритм получения усовершенствованных 
шаблонов для каждого класса, учитывающий положение объектов всех классов в 
пространстве признаков и минимизирующий среднюю ошибку классификации на осно- 
ве взвешивания обучающего набора. 


1 Исходные данные 


В качестве исходных данных для получения шаблонов символов автомобильного 
номера использовались изображения символов фиксированного масштаба 8 х 14 пиксе- 
лей, предварительно полученные с помощью алгоритма автоматической сегментации 
символов [2] из реальных изображений автомобильных номеров и масштабированные к 
заданному эталонному масштабу. 
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Рисунок 1 — Примеры исходных изображений символов 
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Как видно из приведенных на рис. 1 примеров, исходные изображения символов 
имеют значительные геометрические (наклон, поворот, сдвиг) и яркостные (яркость, 
контрастность) искажения. Каждое изображение символа представляет собой экземпляр 
соответствующего класса с признаками в виде массива яркостей пикселей. 

Рассматриваемые в данной работе символы автомобильных номеров, как видно из 
рис. 1, разделяются на 22 класса, 12 классов представляют собой буквы латинского 
алфавита, 10 классов — цифры. Используя стандартизированные положения букв и цифр 
на номерных знаках автомобилей, задачу распознавания символов можно разделить на 
две задачи распознавания, рассматривая алфавиты классов букв и цифр отдельно. 

Использование для классификации символов метода сопоставления с эталоном 
требует введения меры сходства (близости) двух образов. Так как образы представлены 
массивами яркостей пикселей изображений, удобно использовать корреляционную 
меру. Такая мера позволяет уменьшить влияние на результат сравнения 5 двух изобра- 


>“ 1 >“ х 
жений /' и /*, изменений их яркости и контрастности в линейном приближении: 


к(г,г)-м(гм(г) 


рый 


где К — ковариация массивов яркостей изображений, М — средняя яркость, о’ — средне- 
квадратический разброс массива яркостей пикселей изображения. 
Если принять в качестве шаблонов классов изображения Т 1 1=1,...,М › где М- 


число классов, то результат классификации К` (номер класса) определяется следующим 
выражением: 


К = таех(тах(5[1,Т" |, и, 
1 
где Г — классифицируемое изображение-образ, мех — возвращает номер шаблона, 
имеющего максимальное сходство с изображением / в смысле корреляционной меры. 
На основе приведенного выражения для результата классификации можно по- 


лучить матрицы принимаемых классификатором решений, если в качестве шаблонов 
использовать центры распределений объектов каждого класса, показанные на рис. 2. 


АВСЕНУКМОРТХ 
0125456789 


Рисунок 2 — Шаблоны классов алфавитов букв (а) и цифр (6), 
полученные как центры распределений объектов каждого класса 
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В табл. 1 и 2 приведены результаты вычисления матриц результатов распозна- 
вания в виде частот принимаемых решений отдельно для алфавитов классов букв и 


цифр. 
Таблица 1 — Матрица принятых решений для букв 


Результаты классификации 
А В С Е Н 1 к АД [@) Р т Хх 

А | 0.946 | 0.000 | 0.000 | 0.000 | 0.001 | 0.010 | 0.012 | 0.020 | 0.000 | 0.004 | 0.002 | 0.004 
х | В [0.000 | 0.980 | 0.000 | 0.010 | 0.000 | 0.000 | 0.001 | 0.001 | 0.001 | 0.008 | 0.000 | 0.000 
Е С | 0.000 | 0.000 | 0.981 | 0.000 | 0.000 | 0.002 | 0.000 | 0.000 | 0.014 | 0.000 | 0.002 | 0.000 
я |Е 0.000 | 0.000 | 0.000 | 0.939 | 0.000 | 0.047 | 0.002 | 0.000 | 0.000 | 0.002 0.010 | 0.000 
8 |Н | 0.004 | 0.000 | 0.000 | 0.000 | 0.959 | 0.019 | 0.002 | 0.007_| 0.000 | 0.007_| 0.002 | 0.000 
8 т 0.067 | 0.005 | 0.010 | 0.067 | 0.010 | 0.686 | 0.000 | 0.000 | 0.000 | 0.026 | 0.124 | 0.005 
Е: К | 0.010 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.961 | 0.000 | 0.000 | 0.000 | 0.000 | 0.030 
Я | М 10.014 | 0.000 | 0.000 | 0.000 | 0.021 | 0.034 | 0.007 | 0.924 | 0.000 | 0.000 | 0.000 0.000 
8 [О | 0.000 | 0.000 | 0.029 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.971 | 0.000 | 0.000 _| 0.000 
Я [Р 1 0.010 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.990 | 0.000 | 0.000 

Т [0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.014 | 0.000 | 0.000 | 0.000 | 0.007 | 0.979 | 0.000 

Х | 0.006 | 0.000 | 0.000 | 0.000 | 0.000 | 0.006 | 0.013 | 0.000 | 0.000 | 0.000 | 0.006 | 0.968 

Средняя ошибка классификации по всем классам 0.06 

Из приведенных в табл. 1и2 данных видно, что метод сопоставления с эталоном 


позволяет успешно решать задачу распознавания символов со средней ошибкой 6% для 
алфавита букв и 1,6% для алфавита цифр, что говорит о перспективности его применения 
для решения поставленной задачи. Вместе с этим, можно заметить, что качество распо- 
знавания отдельных классов символов может существенно различаться, в частности для 
буквы «1» частота правильного распознавания равна 0,686, что существенно ниже прием- 
лемого уровня распознавания и свидетельствует о необходимости совершенствования ис- 
пользуемого метода. Одним из направлений улучшения качества классификации метода 
сопоставления с эталоном является получение усовершенствованных шаблонов каждого 
класса, лучше отражающих положение классов в пространстве признаков. 


Таблица 2 — Матрица принятых решений для цифр 


Результаты классификации 

0 1 2 3 4 5 6 7 8 9 
0.985 0.003 0.002 0.001 0.000 0.000 0.002 0.000 0.000 0.007 
0.000 0.978 0.000 0.000 0.000 0.000 0.001 0.004 0.000 0.016 
0.000 0.000 0.991 0.000 0.000 0.000 0.000 0.009 0.000 0.000 
0.000 0.005 0.000 0.983 0.000 0.011 0.000 0.002 0.000 0.000 
0.000 0.000 0.000 0.000 0.998 0.000 0.002 0.000 0.000 0.000 
0.000 0.009 0.000 0.009 0.003 0.975 0.000 0.000 0.000 0.003 
0.000 0.000 0.000 0.002 0.009 0.000 0.985 0.000 0.004 0.000 
0.004 0.006 0.003 0.001 0.000 0.000 0.000 0.976 0.000 0.010 
0.000 0.003 0.000 0.001 0.000 0.000 0.006 0.000 0.978 0.012 

9 0.000 0.006 0.000 0.000 0.000 0.003 0.000 0.000 0.000 0.991 
Средняя ошибка классификации по всем классам 0.016 


Входные изображения 
со | 1 | ©^|м| |4 |-=| © 


2 Алгоритм получения усовершенствованных 
шаблонов классов символов 


Идея рассматриваемого ниже алгоритма основывается на корректировке шабло- 
нов символов исходя из расположения объектов распознаваемых классов принятого ал- 
фавита, как показано на рис. 3. 
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Центр распределения 
объектов класса 1 


Центр распределения 
Направление объектов класса 2 


Рисунок 3 — Схема корректировки шаблонов 


Как видно из рис. 3, смещение шаблонов классов в направлении ошибочно клас- 
сифицируемых на данном этапе объектов позволяет уменьшить ошибку классификации. 
Для реализации корректировки шаблонов предлагается использовать взвешивание 
имеющихся объектов всех классов таким образом, чтобы веса ошибочно классифици- 
руемых объектов увеличивались на каждом этапе уточнения шаблонов. Новые шаблоны 
классов получаются с учетом весов каждого объекта соответствующего класса. На каждом 
этапе корректировки шаблонов выполняется контроль ошибок классификации. После 
достижения минимальной ошибки корректировка прекращается, и для расчета итого- 
вых шаблонов классов используются текущие веса объектов. Таким образом, предло- 
женный алгоритм можно представить следующей последовательностью операций. 


ай 
1) Задаются исходные веса объектов как у, = у ? где №; — число имеющихся 
7 
объектов 1-го класса, / — номер объекта класса. 
М; 
2) Выполняется расчет шаблонов для каждого класса: Т" = УГ, ‚ где у, — вес 
= 
: : 1 : : 
/-го объекта 1-го класса, [ ; - изображение /-го объекта 1-го класса. 


3) Выполняется расчет матрицы принимаемых решений и оценивается средняя 
ошибка классификации с использованием текущих шаблонов классов. 
4) Начинается цикл корректировки весов объектов, критерием выхода из ко- 
торого является достижение минимальной ошибки. 
а. Увеличиваются веса ошибочно классифицируемых объектов; 
Ь. Выполняются действия пунктов 2) и 3); 
с. Проверяется критерий выхода из цикла корректировки весов. 
5) Выполняется расчет итоговых шаблонов классов с учетом весов объектов, 
дающих минимальную ошибку классификации. 


3 Результаты тестирования предложенного алгоритма 
корректировки шаблонов классов 


В результате работы приведенного в предыдущем разделе алгоритма корректи- 
ровки шаблонов на основе взвешивания объектов классов были получены модифициро- 
ванные шаблоны классов символов автомобильных номеров. Алгоритм корректировки 
применялся отдельно к алфавитам букв и цифр. Полученные усовершенствованные 
шаблоны в виде изображений показаны на рис. 4. 
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Рисунок 4 — Усовершенствованные шаблоны классов алфавитов 
букв (а) и цифр (6), полученные в результате работы алгоритма 
корректировки 


Тестирование полученных шаблонов на задаче классификации символов автомо- 
бильных номеров показало лучшие результаты, чем результаты, приведенные в разделе 1 
для шаблонов в виде центров распределений объектов классов. Результаты расчета анало- 
гичных матриц принятых решений приведены в табл. 3 и 4. 


Таблица 3 — Матрица принятых решений для букв 


Результаты классификации 

А В С Е Н т к м [@) Р Т х 
0.970 | 0.000 | 0.000 | 0.000 | 0.000 | 0.009 | 0.002 | 0.004 | 0.001 | 0.006 | 0.001 | 0.006 
0.000 | 0.987 | 0.000 | 0.003 | 0.001 | 0.002 | 0.001 | 0.000 | 0.003 | 0.002 | 0.001 | 0.000 
0.000 | 0.000 | 0.993 | 0.002 | 0.000 | 0.000 | 0.000 | 0.000 | 0.005 | 0.000 | 0.000 | 0.000 
0.000 | 0.002 | 0.000 | 0.986 | 0.000 | 0.006 | 0.000 | 0.000 | 0.000 | 0.004 | 0.000 | 0.002 
0.000 | 0.002 | 0.000 | 0.000 | 0.952 | 0.015 | 0.000 | 0.016 | 0.000 | 0.013 | 0.002 | 0.000 
0.005 | 0.005 _| 0.010 | 0.005 _| 0.000 | 0.851 | 0.000 | 0.026 | 0.015 | 0.041 | 0.031 | 0.010 

0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.995 | 0.000 | 0.000 | 0.000 | 0.000 | 0.005 
0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 
0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 | 0.000 | 0.000 | 0.000 
0.000 _| 0.000 | 0.000 | 0.000 | 0.000 _| 0.000 | 0.000 | 0.000 | 0.000 | 1.000 | 0.000 | 0.000 
0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.007 | 0.993 | 0.000 
0.000 | 0.000 | 0.000 | 0.000 | 0.000 | 0.003 | 0.006 | 0.000 | 0.000 | 0.000 | 0.000 | 0.991 


Средняя ошибка классификации по всем классам 0.024 


Таблица 4 — Матрица принятых решений для цифр 


Входные изображения 


о о < и оз К° 


Результаты классификации 
0 1 2 3 4 5 6 7 8 9 
Ь 0 0.991 0.003 0.000 0.001 0.000 0.000 0.002 0.002 0.000 0.001 
Е 1 0.000 0.997 0.000 0.000 0.000 0.001 0.001 0.000 0.000 0.000 
Е 2 0.000 0.000 0.997 0.000 0.000 0.000 0.000 0.003 0.000 0.000 
5 3 0.000 0.005 0.000 0.988 0.000 0.005 0.000 0.003 0.000 0.000 
а 4 0.000 0.000 0.000 0.000 0.998 0.000 0.002 0.000 0.000 0.000 
о 5 0.000 0.003 0.000 0.008 0.003 0.983 0.000 0.000 0.000 0.003 
я 6 0.000 0.000 0.000 0.000 0.002 0.000 0.998 0.000 0.000 0.000 
Е 7 0.006 0.000 0.007 0.000 0.000 0.000 0.000 0.986 0.000 0.001 
8 0.000 0.000 0.000 0.001 0.000 0.000 0.001 0.000 0.996 0.001 
9 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 
Средняя ошибка классификации по всем классам 0.007 
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Полученные результаты показали улучшение качества распознавания при исполь- 
зовании полученных предложенным алгоритмом усовершенствованных шаблонов сим- 
волов автомобильных номеров. Средняя ошибка классификации для букв уменьшилась 
с 6% до 2,4%, для цифр —с 1,6% до 0,7%. Кроме этого существенно увеличилась частота 
правильной классификации для наиболее сложного в данной задаче класса «Г»: с 0,686 
до 0,851. 


Выводы 


Предложенный в статье алгоритм получения усовершенствованных шаблонов сим- 
волов автомобильного номера позволил увеличить эффективность метода сопоставления 
с эталоном для решения задачи распознавания символов автомобильных номеров. 
Полученные показатели качества классификации свидетельствуют о возможности ус- 
пешного применения метода сопоставления с эталоном при разработке систем автома- 
тического определения автомобильных номеров и решении других задач, связанных с 
шрифтозависимым распознаванием машинописных текстов. 
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К.Г. Мигуют 

Саешайоп о? Тетр!а(е$ Гог Весоош оп оЁ Саг Рае ЗутБоК оп Фе Ва$5 оГУУеюн шо оЁ Тгашио Зе 

№ агбсе Фе а1еопфт оР4етраез са!сиайоп Юг Фе 4есляюп оРа рго ег оЁ саг р1айез зупбо[5 гесоот оп Базе оп 
фетрае такте 15 оНегед. Те ойегед а1еог тт 15 Базе4 оп ее ше оРа пашшо зе апа аПо\уз оашие 1етр!ае$ 
оЁеасН с1а5$ оЁ зутбо5 оп Фе Баз15 оЁ пипититаноп оЁ ап ауегаое еггог оЁ с1аззсайоп Бу а с1азез. ТВе {етр!ае$ 
тесетуе Бу ап оНеге плефо4 аПо\ ю зоуе а рго ета оЁ зупбо[5 СаззсаНоп у а зтаПег етог, Фап ай зе а5 
{етпраез оЁ Фе сегёегз оЁ Ф@зётБиноп$ оЁ саззйе4 с1аззез, Кеерше из 2004 оепегаН7ли» аБМШу оЁ а етрае 
такте тефоч. 


Статья поступила в редакцию 20.04.2011. 
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